#Early Stopping

5 篇

Predicting Partial Answer Quality and Utility in Agentic Retrieval-Augmented Generation

预测智能体RAG中部分答案质量与效用

🧭 Agentic RAG 轨迹质量预测与早停

University of Glasgow

提出轨迹内探针框架，预测Agentic RAG中间答案质量与增量效用，实现约11%早停节省且保持98%质量

📌 工作参考价值（4 点）

在电商/购物助手的多跳 Agentic RAG 场景中，可在每次检索-推理后强制生成一个 partial answer，用轻量回归/分类器实时预测其质量或增量效用，作为动态早停信号，而非固定最大步数；论文显示可省约 11% 迭代次数且仅损失约 2% 最终质量。
可借鉴的三类轨迹特征：intra-iteration（当前检索结果与 query 的相关性、query 特异性）、inter-iteration（partial answer embedding 漂移/趋于稳定）、query-iteration（query 改写相似度），组合成在线 guardrail，适合低延迟、高吞吐的推荐/问答服务。
质量预测比效用预测更可靠（Pearson r > 0.43 vs. 效用更低），工程落地时建议以质量阈值/置信度为主要停止判据，效用 delta 可作辅助信号或用于异常检测，避免因效用预测噪声导致过早切断有效推理。
商品搜索/导购场景中，用户问题常需多轮查询细化，可把该框架扩展到“是否已获得足够商品信息”的判定，减少无效检索与 LLM 调用，同时保持答案完整度。

RAG | 2026-09-15 | cs.IR | score 7/10

EarlyEval：通过早期结果预测降低 Agent 评估成本

🧭 Agent 评估成本优化 · 早停预测 ★ 深度解读

Shanghai Jiao Tong University · Singapore Management University · East China Normal University · Shanghai Innovation Institute

用 LightGBM 对部分轨迹预测最终成功/失败并提前终止，最高省 44% 输入 token 且几乎不改变排行榜排名

📌 工作参考价值（4 点）

对长链路搜索/导购/售后 Agent 的回归评测，可用历史 rollout 日志训练 LightGBM 成功/失败二分类器，在线每步提取行为+文本特征并校准阈值早停；相比 LLM-as-judge 每步推理，CPU 级推理开销可忽略。
特征设计不必依赖 gold 答案：行为特征（重复操作、错误类型、无编辑持续步数、测试失败趋势）和 TF-IDF+SVD 文本特征已能提供强信号；无参考解时可关闭 reference 特征，精度损失很小。
双阈值结构与独立 success/failure 分类器比单一联合模型更可控，可按业务需要分别调 precision/coverage，Platt 校准后阈值才可直接比较；建议在评估平台上做留一 agent/策略配置的验证。
适用于需要反复评测多个 prompt / scaffold / 模型版本迭代的场景：早停不会显著改变相对排名（ρ≥0.959），可作为内部快速反馈，最终对外榜单仍跑全程。

Eval | 2026-09-01 | HF Daily | score 8/10

GRADRAG：跨组件提示自适应实现多智能体RAG协同优化

🧭 RAG多智能体协同优化

Bloomberg

将RAG管线建模为计算图，通过评估反馈反向传播优化上游Agent提示，取得12-15pp偏好提升

📌 工作参考价值（4 点）

在搭建电商搜索/问答的Agent管线（检索→证据整理→答案生成→校验）时，可借鉴GRADRAG的图结构建模与反馈传播思路：设计一个Evaluator对最终答案和中间证据打分，将结构化反馈反向发送给上游Agent（如检索改写、图谱构建），用少量迭代联合优化全链路，避免各环节独立调优导致的误差累积。
两阶段自适应提示机制可直接落地：先让Evaluator输出简短评判（太模糊/证据不足），再据此生成具体改进指令，带动检索和生成prompt的自动更新，降低人工设计prompt的成本。
早停策略对成本敏感的场景很有价值：Evaluator判断答案质量达标即可终止迭代，避免无效重试，平衡效果与推理开销。
该方法与底层检索范式解耦，支持chunk-based和graph-based两种模式，因此无论团队当前用的是语义分块检索还是知识图谱增强，都能叠加GRADRAG提升多步推理效果，适配迁移成本低。

RAG | 2026-07-23 | cs.CL | score 7/10

不再猜测何时停止测试：用恰到好处的数据高效评估模型

🧭 自适应评估 · 顺序测试

IBM Research

提出自适应顺序测试框架，用 CI 宽度和递减收益动态停止评估，节省最高 80% 计算成本并保持统计显著性

📌 工作参考价值（4 点）

LLM-as-Judge 评估成本削减：在使用 LLM 评估推荐结果或 Agent 生成质量时，设置目标 CI 宽度或最小可检测效应量，动态决定何时停止评估，可大幅减少推理计算开销。
A/B 测试早期停止：在线对照实验中，当所需置信度已达成或效应量已无法进一步显著时提前终止，加速迭代，原理与框架中的递减收益检测一致。
模型选择与排行榜构建：在多个候选召回/排序模型对比时，用顺序测试自适应分配流量，避免固定测试集浪费，尤其适合需频繁重新评估的场景。
工程实现注意：需预设停止准则（如 CI 半宽 < 2.5 个百分点或效应量低于阈值），并确保重采样/数据顺序随机，防止偏差；可集成到现有评估管线中。

Eval | 2026-07-09 | cs.LG | score 6/10

ESPO：基于近端策略优化的早停机制

🧭 面向LLM推理的强化学习训练效率优化 ★ 深度解读

Tongyi Lab, Alibaba Group · Peking University

通过logit遗憾值与价值门控在rollout中即时终止失败轨迹，提升数学推理准确率并节省超20%训练token

📌 工作参考价值（4 点）

Agent多轮交互训练可复用早停逻辑：在电商导购、多智体协作等长轨迹RL训练中，可基于策略logit与价值估计设计类似的门控，提前截断已明显失败的对话或动作序列，减少无效计算，并将截断点作为吸收失败状态注入负TD误差，改善信用分配。
无需额外模型或人工标注的失败检测：利用已有policy的logit向量计算代理遗憾值（当前token与贪心选择的概率差），结合EMA归一化与critic价值比较，几乎零额外计算成本即可判断是否继续生成，适合资源敏感的业务场景。
可作为现有PPO-based方法的即插即用组件：ESPO不改变PPO优化目标，只修改rollout收集过程，可与GRPO、DAPO等改进方案叠加。实际部署时只需在采样循环中加入轻量判断，且可通过比例控制器动态调整终止率，适配不同任务难度。
避免熵崩溃与不当压缩探索：实验表明ESPO不会导致策略熵下降过快，反而较标准PPO维持更高熵，这对推荐/对话场景下保持多样性有意义。同时约2.7%的假阳性截断率可控，整体收益远大于误杀代价。

Training | 2026-05-27 | HF Daily | score 8/10